SpecGuard: Inference-Time Backdoor Detection For Free
SpecGuard：零额外计算成本推理时后门检测
🧭 LLM 后门检测 · 投机解码
Institute of Science Tokyo · Microsoft Security Response Center · Microsoft Azure · Shandong University
利用投机解码中的草稿token接受率变化，实现零额外计算成本的LLM推理时后门检测
📌 工作参考价值（4 点）
- 若线上 LLM 推理服务（如生成式推荐文案、Agent 工具调用）已启用投机解码，可几乎零成本监控“草稿 token 接受率”异常波动，作为模型行为突变或后门触发的预警信号，无需额外模型前向。
- “干净小模型作参照”的思路可迁移到推荐模型监控：用训练冻结的干净基线模型对比线上微调模型的输出分布，捕捉因数据投毒或环境漂移导致的异常行为，尤其是对用户输入中的罕见/语义触发模式。
- 工程实现上，接受率是一个标量，计算开销极低，适合部署在 gateway 或 serving 层；但接受率受输入难度影响，应结合分位数或滑动窗口做自适应阈值，避免正常长尾输入引发误报。
- 业务可借鉴点有限：后门检测主要服务于 AI 供应链安全，电商推荐团队若无第三方模型微调部署场景，直接迁移价值不大。